DanceNet3D: Music Based Dance Generation with Parametric Motion Transformer

In this work, we propose a novel deep learning framework that can generate a vivid dance from a whole piece of music. In contrast to previous works that define the problem as generation of frames of motion state parameters, we formulate the task as a prediction of motion curves between key poses, which is inspired by the animation industry practice. The proposed framework, named DanceNet3D, first generates key poses on beats of the given music and then predicts the in-between motion curves. DanceNet3D adopts the encoder-decoder architecture and the adversarial schemes for training. The decoders in DanceNet3D are constructed on MoTrans, a transformer tailored for motion generation. In MoTrans we introduce the kinematic correlation by the Kinematic Chain Networks, and we also propose the Learned Local Attention module to take the temporal local correlation of human motion into consideration. Furthermore, we propose PhantomDance, the first large-scale dance dataset produced by professional animatiors, with accurate synchronization with music. Extensive experiments demonstrate that the proposed approach can generate fluent, elegant, performative and beat-synchronized 3D dances, which significantly surpasses previous works quantitatively and qualitatively.

本作品では、音楽全体から鮮やかなダンスを生成することができる新しい深層学習フレームワークを提案します。問題を運動状態パラメータのフレームの生成と定義している従来の作品とは対照的に、我々はアニメーション業界の慣習にヒントを得て、キーポーズ間の運動曲線の予測として課題を定式化する。提案されたフレームワークは、DanceNet3Dと名付けられ、まず、与えられた音楽のビートに合わせてキーポーズを生成し、次に、その間のモーションカーブを予測する。DanceNet3Dは、学習のためにエンコーダ・デコーダ・アーキテクチャと敵対的なスキームを採用している。DanceNet3Dのデコーダは、モーション生成のために作られた変換器であるMoTrans上に構築されている。MoTransでは、Kinematic Chain Networksによる運動相関を導入し、人間の動きの時間的な局所相関を考慮したLearned Local Attentionモジュールを提案している。さらに、プロのアニメーターによって制作された、音楽と正確に同期した初の大規模なダンスデータセットであるPhantomDanceを提案しています。大規模な実験の結果、提案手法は、流暢でエレガントな、パフォーマンス性の高い、ビートに同期した3Dダンスを生成することができ、量的にも質的にも既存の作品を大幅に上回ることがわかった。